Oppenheimer dilahirkan di New York City pada 22 April 1904.[2]:5-11 Bapanya, Julius Oppenheimer ialah seorang pengimport tekstil yang berpindah dari Jerman ke Amerika Syarikat pada 1888 manakala ibunya, Ella Friedman ialah seorang pelukis dan berasal dari Baltimore.[3] Oppenheimer mempunyai seorang adik lelaki, Frank yang turut menjadi seorang ahli fizik.[2]:16 Oppenheimer mendapat pendidikan awal di Alcuin Preparatory School dan memasuki Ethical Culture Society School pada 1911.[2]:35 Seterusnya, Oppenheimer mendapat pendidikan di Kolej Harvard (kolej prasiswazah Universiti Harvard) ketika berumur 18 tahun.[2] Setelah itu, Oppenheimer mendapat tawaran belajar di Kolej Christ, Cambridge. Pada 1926, Oppenheimer belajar di Universiti Göttingen bersama dengan Max Born sebelum mendapat taraf Doktor Falsafah ketika berusia 23 tahun pada Mac 1927.[2]